Het kasteel wordt voor het eerst vermeld in een akte van 1374 en werd hoogst waarschijnlijk gebouwd door de familie de Bouchout die tot 1606 regeerden over Humbeek. De oudste gedeelten van het Gravenkasteel, ook wel Lundenkasteel genoemd naar de naam van de vroegere eigenaars, dateren uit de 15de en 16de eeuw en zijn in renaissancestijl.
In de loop der jaren onderging het gebouw meerdere veranderingen en restauraties. In de 17de eeuw werd het grondig hersteld omdat het zwaar te lijden had onder het oorlogsgeweld op het einde van de 16de eeuw. In de 19de eeuw werd het Gravenkasteel gerestaureerd en uitgebreid in neotraditionele stijl.
Het kasteel had een belangrijke stoeterij waarvan de gebouwen nu verhuurd worden aan een manege. Na 200 jaar is dit eeuwenoude sprookjesachtig kasteeldomein nog steeds in handen van de familie le Candele-Lunden-’t Serstevens.